В наборе NLP модулей для чатбота добавился очередной - NP chunker. Его прототип я уже кратко описывал тут. Для удобства использования в разных проектах чанкер именных групп выделен в отдельный модуль ruchunker.

В чатботе он позволяет делать следующее. Допустим, пользователь вводит вопрос:
( Read more... )

После трех дней осады и борьбы, у меня заработала связка из текущей версии RASA и spacy (я взял готовые модели для русского языка, спасибо Юрию за помощь :) ).

Кроме того, я сделал конвертор для своего NER датасета в формат для обучения Spacy NER. После пары часов получилось дообучить спейсовский NER, взяв за основу код отсюда:
( Read more... )

1. Я немного автоматизировал процесс hard negative mining для чатбота, добавил найденные негативные сэмплы в датасеты и переобучил все модели. Заодно расширил тестовый диалог, в котором проверяется модель синонимичности. Теперь чатбот умеет кое-что о себе рассказывать:
( Read more... )

Новая модель лемматизации работает поверх морфологической модели, и поэтому лучше приспособлена к работе с несловарными элементами - всякими фамилиями, названиями и так далее.

Эта модель будет включена в следующую версию Парсера.

Простой (отладочный) пример. На входе - предложение "Я встретил В.И.ЛенинаНа выходе парсера имеем такую частеречную ( Read more... )

Это грозится стать очень интересной задачкой в рамках обработки результатов парсинга текста.

Сейчас парсер весьма хорошо умеет делать NER, совмещая как табличное распознавание "известных" имен и фамилий, так и распознавание ФИО без помощи лексикона.

Осталось добавить к этим методам еще учет предыдущих распознаваний - другими словами, если ФИО ( Read more... )